XR 的其他外设

头显和眼镜是创造虚拟世界的根基，但它只能提供视觉上的沉浸。为了让虚拟的世界更加真实，XR 外设便登上了舞台。

触觉反馈和全身定位

首先登场的是手柄。作为出场率最高的外设，手柄主要起到控制操作和触觉反馈的作用。但和游戏手柄不同的是，XR 手柄需要被追踪定位，才能在虚拟世界中产生合适的映射。常用的追踪方案有三种：电磁、超声和光学定位。

电磁定位利用通电后螺旋线产生磁场的原理，在头显中内置了电磁接收器。当手柄产生磁场信息时，电磁接收器会进行接收，从而判断物体的空间信息。电磁定位的方案实时性强，但电磁定位容易受到马达、磁铁或通电导线的干扰，追踪精度有限，同时由于线圈发出电磁波时，会有损耗现象，容易导致手柄发热。除了早期的 NOLO Sonic 外，后续就很少有产品采用该方案。

超声定位是另一种方案，头显作为超声波发射器，发出特定声波，手柄内置接收器。通过判断传感器接收信息的时间，利用三角测量的原理，获得手柄的位置和方向信息。超声波定位精度很高，达到了厘米级，同时没有视角限制，手柄识别范围较大。但超声波对环境有较高要求，室外风大等情况都会影响定位精度，同时超声波在接近墙面等物体时，会产生回声干扰，定位精度也会受到影响。因此这种方案也逐渐被光学定位替代。

光学定位的核心原理是在手柄上外置红外光，通过头显的摄像头，实时拍摄手柄上红外光点，通过检测光点位置变化，根据多视图几何原理计算初步的位姿，再结合手柄内置的 IMU 传感器所得的数据进行综合判断。由于光学定位是目前主要的手柄定位方式，有必要对它进行进一步的分析。

从理论上讲，在给定一个摄像头图像的情况下，至少需要 4 个 LED 才能解析手柄控制器的位置。但摄像头正常一次只能看到 2 个或者 1 个。所以我们看到，很多控制器上都有一个巨大的圆环，LED 灯就放在上面，它的主要作用就是使头显摄像头能够更好地捕捉红外光的变化情况。

但便携永远是 XR 设备追求的主旋律，圆环只能成为一种过渡的方案，而不是长久之计。于是，融合了裸手追踪的方案便应运而生，当手柄上的 LED 被遮挡时，处理器能够通过裸手的特征判断手柄的位置。同时，在手柄脱离摄像头视线时，通过 IMU 传感器检测手柄的空间（如果单纯依靠 IMU 会有积分漂移的情况出现，误差较高），结合光学追踪、IMU、红外三种逻辑共同确认最终位置。但 IMU 和裸手融合的逻辑对技术要求很高，无线信道干扰会导致 IMU 数据丢失、环境光斑会导致红外检测时无法区分，摄像头在弱光情况下检测效果不好。所以，手柄与头显间无线协议的制定、光斑区分的算法逻辑、摄像头和红外灯的时钟同步协议、弱光环境下的补光等都要有相应的考量。目前在这块领域表现良好的有 Quest 3，目前已经去掉了圆环，LED 灯内置在手柄上，主要采用裸手交互、红外和IMU 融合的方案，识别精度可以达到亚毫米。

除了定位之外，手柄还承担着触觉反馈的作用。良好的触觉反馈能够极大提高虚拟物体的真实度，手柄在这方面主要采用了线性马达和音圈马达。线性马达和手机上常用的马达一致，主要用于直线方向上的振动。音圈马达比线性马达更加细腻，当音圈马达中的线圈通电时，线圈产生位移，位移会导致振动，振动的强度可以通过控制电流的大小和频率调节。音圈马达可以实现高精度的方向和强度控制，因此，我们可以为音圈马达预设各种振动波形，这些波形可以用来模拟各种不同的触觉反馈，比如不同纹理材质的手感。

然而，手柄的可碰触区毕竟有限，即使音圈马达能够模拟细腻的手感，也无法脱离这一限制，为了增强触觉的反馈，另一种形态的控制器-触觉反馈手套-则被搬上了舞台。

顾名思义，触觉反馈手套是手套的形态，它们的编织物是塑料或硅树脂类的柔性材料，可以在分子层面上进行改变。编织物很重要，但核心是触觉的模拟和反馈。微电机是最先被想到的方案，但在手上安装 1000 个微电机，无论是质量还是热量，都不是常人所能承受的。于是，原先被用在医疗领域的气动技术被引入触觉反馈领域。由几百个微小气孔组成的手套，可以利用气体膨胀来取代皮肤感知：气动执行器利用气压产生力，电活性执行器则在电场作用下改变物体形状和尺寸。

当用户在虚拟世界触碰物体时，气孔膨胀，以模拟真实的感觉。最妙的是力反馈技术。手套会追踪用户在虚拟物体中的移动并在相反反向反馈触觉信息。譬如，当抓住飞射而来的球体时，手套会产生反弹感，仿佛用户的手指真的被球体弹回一般。力反馈技术依赖于高精度的手部追踪，它需要实时地感知到虚拟世界中虚拟对象的纹理、重量和刚度，并实时通知手套中的触觉装置执行对应的触觉模拟。

从手柄和触觉反馈手套我们可以看出，这类外设的核心就在于定位和触觉反馈。而除了手之外，触觉反馈和定位也可以覆盖到全身。体感服就是这样的设备，它利用电极片，将人体主要的 8 组肌群覆盖，游戏中如击打、枪击等状态都能够实时反馈。在全身动捕上，一般通过如红外一样的光学传感器进行捕捉，通过在运动物体的关键部位进行标记，再通过多角度计算来确定物体的空间方位，最终从生物运动学推理出骨骼的运动轨迹。这种方案依赖于多机位的光学镜头，在家用场景下较难展开。另一种方案则利用 IMU，通过在关键部位，如头部、手腕、腰部和脚踝处绑定 IMU，通过旋转信息来测算人体动作。当然这两种方案都需要依靠一定的外设，Meta 最新研发的视觉动作捕捉技术则进一步降低了对外部设备的要求，它可以仅通过头显和手柄控制器的方位便推算出用户的全身动作。

Meta 通过摄像头的光学捕捉，识别人体的关键信息，追踪上半身手臂、肘部和手掌的动作。通过比对完整人体动作下关键点的位置，最终拟合出仅通过关键点便能推算上半身全身动作的算法。下半身也是同样如此，研究人员通过 172 人各 8 小时的动作捕捉模拟了头显和控制器的运动，现在仅通过头显和控制器便能拟合下半身的整体运动。更近一步，研发人员发现，只需头显的 60 个姿势，用户整体的运动图像便能够被重建还原，且并不存在物理伪影（本不存在却出现在最终影像中的成像）。

万向跑步机

除了触觉反馈和全身定位外，另一重要的外设便是万向跑步机。受到空间的限制，XR 即使创造了一个逼真的虚拟世界，用户也无法在其中像真实世界一样奔跑。尽管在交互上，设计师创造了瞬移、世界移动等方案，但在一些注重探索的场景下，真实移动带来的心流体验甚至远远超越了视觉和触觉的震撼。想想看，当你漫步在宋朝的商坊，惬意地游览市井景象时，那可谓其乐无穷了。

主题乐园中往往会有一片空置的场地，供用户移动。但在家庭或培训场景下，场地狭小是不可避免的情况。也正是在这样的情况下，万向跑步机才会被天才的灵光推向世界。

传统的跑步机，采用履带式，跑步机用户奔跑的每一步，其实都停留在原地。只是履带向后的传动，会迫使用户向前奔跑。履带的动作和用户的行为相互抵消。万向跑步机利用了履带传送的原理，通过对用户运动路线的识别控制履带的反向滚动，从而使用户一直在原地移动。

以 Infinadeck 为例，配置有两个电机，分别控制水平和垂直方向的履带移动。电机和履带表面装有轴编码器，反馈用户在履带表面的移动情况。用户背部安装有 Vive 追踪器（IMU），测量用户在虚拟世界中的位置。轴编码器的位置与虚拟世界位置相互确认，用户在虚拟世界中行走，电机则驱动履带分别运行至合适的方向和速度，从而保证用户能够自如地在任何方向行走。

履带式万向跑步机的难点在于延时的控制。追踪器需要在极短的时间内判断用户的动作，轴编码器需要同步接收动作信息并驱动电机移动到合适的位置，而电机必须快速响应。如果整体的响应时间过长，用户有跌倒的风险（所以常常会有一个固定装置以保障用户安全）。理想的状态下，追踪器对于行走动作的判断需要低于 0.5s。

另一种绝妙的思路是“一口大锅”：如果在用户的脚下放一口锅，并且穿上特制的带轮子的鞋，那么用户无论如何行走，最终都会滑回锅里。本质上，这种方法利用了原地打滑的原理，相比于履带式，所用空间更小，但行走体验稍差。

以 Omni 为例，其跑步机底部被设置成一个带有许多细小凹槽的光滑凹陷圆形曲线，用户需穿戴特制的跑步鞋，鞋底有与凹槽匹配的椎状物，可用来稳定运动，防止位置便宜，在脚尖位置也增加了摩擦力，以确保运动时的身体平衡。

Omni 同样使用惯性传感器追踪用户行为，但它不用像履带式万向跑步机一样驱动电机，也避免了延时的问题。与此同时，原地打滑式跑步机在支撑环上下了更多功夫，如 KAT Walk mini，其支撑环允许用户执行坐、飞行、游泳、下蹲等动作，其限位自由度可以根据用户动作主动调整。